#modele lokalne
4 artykułów
-
I Ran a 35B Param Model On My iPhone (Local AI)
Quen trzy i pięć w wariancie trzydziestu pięciu miliardów parametrów generuje jedenaście tokenów na sekundę na iPhonie siedemnaście. W czterobitowym pliku ten model waży około dwudziestu gigabajtów i normalnie musi w całości siedzieć w pamięci. Na telefonie w pamięci zostaje tylko jeden i cztery dziesiąte gigabajta.…
-
Run Qwen 3.6 35B on 3GB RAM?
Edge Zero to otwarty silnik inferencyjny, który uruchamia model o trzydziestu pięciu miliardach parametrów na Mac mini i raportuje dwa i dziewięć dziesiątych gigabajta pamięci. Wagi nie zmalały. Cały checkpoint to dziewiętnaście i pół gigabajta, z czego osiemnaście to wagi ekspertów, które przez cały czas rozmowy le…
-
This Tiny Coding Model Shouldn’t Be This Good (MiniCPM5)
Mini C P M pięć, w wersji dwóch miliardów parametrów, dostaje na S W E bench verified czterdzieści sześć punktów i wyprzedza Quen trzy i pół o czterech miliardach parametrów, czyli model dwa razy większy. Ten sam model uruchomiony na czterech bitach, dokładnie według ustawień z własnej dokumentacji, wpada w nieskońc…
-
MiniCPM5-2B: The Best Sub-Agent Model Yet?
Open B M B przeskalował swój mały model z jednego miliarda parametrów do dwóch i twierdzi, że bije teraz modele czteromiliardowe. Sam Witteveen sprawdził to lokalnie na trzech wersjach modelu naraz i odpowiedź brzmi: częściowo. Na części benchmarków Mini C P M pięć faktycznie wyprzedza Quena trzy i pół o czterech mi…